Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data
数据稀缺与模型稀疏：MoE 对重复数据更易过拟合
🧭 LLM 训练 · 数据重复 · MoE 正则 ★ 深度解读
Stanford University · Paul G. Allen School of Computer Science, University of Washington
在重复数据训练下，MoE 比同 active 参数的 dense 模型退化更早更快，且退化程度由 total 参数决定
📌 工作参考价值（4 点）
- 搜索/推荐/广告等业务里若用 MoE 或稀疏 LLM 做召回、排序、query 生成，数据重复是常见场景（行为序列、曝光样本、promo 物料反复出现）。不要只看 active 参数，要把 total 参数计入训练预算；重复率控制在 4× 以内对 MoE 相对安全，超过 8× 需要警惕。
- 当业务数据受限必须多 epoch 训练时，优先在 MoE 的输出侧做 masking：FFN output masking、expert dropout 或 expert output masking，比 router jitter、weight decay 更有效。生成式推荐/query 生成模型可以在 expert 输出上加 token-level 或 expert-level dropout，缓解重复样本导致的过拟合。
- 多域数据混合训练时，如果某个域 unique 数据不足，不要无限重复该域；把它与语义相似的未重复域混合可能起到正则化作用，而语义差异大的域（如 code 与 web）混合无此效果。对电商多源数据（商品、内容、广告、搜索词）做配比时值得验证。
- 路由早稳定是一个可工程化的监控信号：若 MoE 在训练早期 router 决策就接近冻结，并且 train loss 快速降到很低，通常意味着 expert 在过拟合固定 token 子集。可定期做 expert knockout 分析，量化专家冗余与过度 specialization，作为是否继续训练或切换架构的依据。